Automatic Differentiation

定义 Definition

自动微分：一种在计算机中精确计算函数导数的方法，通过把程序分解为基本运算并系统地应用链式法则，得到导数结果；常用于机器学习中的梯度计算（不同于数值微分的近似，也不同于符号微分的代数化简）。

发音 Pronunciation (IPA)

/ˌɔːtəˈmætɪk ˌdɪfəˌrɛnʃiˈeɪʃən/

例句 Examples

Automatic differentiation computes exact gradients for many programs.
自动微分可以为许多程序计算精确的梯度。

In deep learning, automatic differentiation lets us train large neural networks efficiently by propagating gradients through computational graphs.
在深度学习中，自动微分通过在计算图中传播梯度，使我们能够高效训练大型神经网络。

词源 Etymology

automatic 源自希腊语 automatos（“自发的、自动的”），differentiation 来自拉丁语系的词根，指“区分、求差”，在数学里引申为“求导”。组合成 automatic differentiation，字面即“自动进行求导”，强调用程序化规则自动计算导数。

相关词 Related Words

• Gradient
• Derivative
• Chain Rule
• Backpropagation
• Computational Graph
• Jacobian
• Hessian

文学与著作 Literary Works

• Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation（Andreas Griewank & Andrea Walther）
• Automatic Differentiation in Machine Learning: a Survey（Baydin 等，综述论文）
• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville，涉及以自动微分/反向传播为核心的梯度计算思想）
• Numerical Optimization（Jorge Nocedal & Stephen Wright，讨论导数与梯度计算方法，常与自动微分相关联）